Image-based modelling of ocean surface circulation from satellite acquisitions

International audienceSatellite image sequences permit to visualise oceans' surface and their underlying dynamics. Processing these images is then of major interest in order to better understanding of the observed processes. As demonstrated by state-of-the-art, image assimilation allows to retrieve surface motion from image sequences, based on assumptions on the dynamics. In this paper we demonstrate that a simple heuristics, such as the Lagrangian constancy of velocity, can be used, and successfully replaces the complex physical properties described by the Navier-Stokes equations, for assessing surface circulation from satellite images. A data assimilation method is proposed that includes an additional term a(t) to this Lagrangian constancy equation. That term summarises all physical processes other than advection. A cost function is designed, which quantifies discrepancy between satellite data and model values. The cost function is minimised by the BFGS solver with a dual method of data assimilation. The result is the motion field and the additional term a(t). This last component models the forces, other than advection, that contribute to surface circulation. The approach has been tested on Sea Surface Temperature of Black Sea. Results are given on four image sequences and compared with state-of-the-art methods

Solving ill-posed Image Processing problems using Data Assimilation

International audienceData Assimilation is a mathematical framework used in environmental sciences to improve forecasts performed by meteorological, oceanographic or air quality simulation models. It aims to solve an evolution equation, describing the temporal dynamics, and an observation equation, linking the state vector and observations. In this article we use this framework to study a class of ill-posed Image Processing problems, usually solved by spatial and temporal regularization techniques. An approach is proposed to convert an ill-posed Image Processing problem in terms of a data Assimilation system, solved by a 4D-Var method. This is illustrated by the estimation of optical ow from a noisy image sequence, with the dynamic model ensuring the temporal regularity of the result. The innovation of the paper concerns first, the extensive description of the tasks to be achieved for going from an image processing problem to a data assimilation description; second, the theoretical analysis of the covariance matrices involved in the algorithm; and third a specic discretisation scheme ensuring the stability of computation for the application on optical flow estimation

Using models of dynamics for large displacement estimation on noisy acquisitions

The paper discusses the issue of motion estimation on noisy images displaying large displacements, due to high velocity values. ``Noisy'' means that the data contain either missing acquisitions on isolated points, regions, frames or noisy measures. Assuming the dynamics is partially accessible from heuristics and modeled, the objective is to include this knowledge in the computation of the solution even if large displacements occur from one frame to the next one and if the data are noisy. This is performed by Data Assimilation techniques which simultaneously solve an evolution equation and an observation equation. The evolution equation includes the partial knowledge on the dynamics. The observation equation describes the transport of image brightness and is written in a non-linear form in order to better characterize large displacements. The assimilation method is a weak 4D-Var algorithm, in which each component of the Data Assimilation system is associated to an error. We prove that the observation covariance matrix can be used to discard the noisy data during the computation of the solution letting the evolution equation estimate motion from adjacent frames on these pixels. The method is quantified on synthetic data and illustrated on oceanographic satellite images.Cet article traite du problème de l'estimation du mouvement sur des données bruitées montrant de grands déplacements engendrés par des vitesses élevées. Par données ``bruitées'' nous entendons des données qui contiennent à la fois des informations manquantes en des points isolés, des régions ou des plans image entiers et du bruit de mesure. En supposant que la dynamique de la séquence d'image peut être décrite par des heuristiques, le but est d'inclure cette connaissance dans le calcul de la solution et cela malgré la présence de vitesses élevées. Ceci est réalisé par assimilation de données en résolvant simultanément une équation d'évolution et une équation d'observation. L'équation d'évolution décrit imparfaitement la dynamique. L'équation d'observation décrit le transport de la luminosité par la vitesse et elle est écrite sous sa forme non linéaire afin de prendre en compte les grands déplacements. La méthode d'assimilation de données utilisée ici est le ``4DVar'' dans sa formulation faible et pour laquelle chaque composante du système à résoudre est associée à une erreur. Nous montrons que la matrice de covariance associée au modèle d'observation peut être utilisée pour éliminer du calcul de la solution les pixels qui contiennent une information bruitée. Pour ces pixels, l'équation d'évolution permet alors de calculer une solution admissible. La méthode proposée est évaluée sur des données synthétiques et appliquée sur des données océanographiques contenant de véritables données manquantes

Coupling reduced models for optimal motion estimation

International audienceThe paper discusses the issue of motion estimation by image assimilation in numerical models, based on Navier-Stokes equations. In such context, models' reduction is an attractive approach that is used to decrease cost in memory and computation time. A reduced model is obtained from a Galerkin projection on a subspace, defined by its orthogonal basis. Long temporal image sequences may then be processed by a sliding-window method. On the first sub-window, a fixed basis is considered to define the reduced model. On the next ones, a Principal Order Decomposition is applied, in order to define a basis that is simultaneously small-size and adapted to the studied image data. Results are given on synthetic data and quantified according to state-of-the-art methods. Application to satellite images demonstrates the potential of the approach

Solving Ill-posed Problems Using Data Assimilation. Application to optical flow estimation

ISBN 978-989-8111-69-2International audienceData Assimilation is a mathematical framework used in environmental sciences to improve forecasts performed by meteorological, oceanographic or air quality simulation models. Data Assimilation techniques require the resolution of a system with three components: one describing the temporal evolution of a state vector, one coupling the observations and the state vector, and one defining the initial condition. In this article, we use this framework to study a class of ill-posed Image Processing problems, usually solved by spatial and temporal regularization techniques. A generic approach is defined to convert an ill-posed Image Processing problem in terms of a Data Assimilation system. This method is illustrated on the determination of optical flow from a sequence of images. The resulting software has two advantages: a quality criterion on input data is used for weighting their contribution in the computation of the solution and a dynamic model is proposed to ensure a significant temporal regularity on the solution

Assimilation d'images dans un modèle réduit pour l'estimation du mouvement

Peer-reviewedNational audienceCet article décrit une méthode d'estimation du champ de vitesse apparent, sous-jacent à l'évolution temporelle d'une séquence d'images. Un modèle d'évolution, dit complet, est choisi pour représenter la dynamique du champ de vitesse et des images. La méthode de décomposition orthogonale propre est appliquée et fournit des bases de représentation des champs de vitesse et des images. La projection de Galerkin du modèle complet sur ces bases réduites définit alors le modèle réduit. Un algorithme d'assimilation variationelle de données est conçu afin d'estimer les coefficients des champs de vitesse à partir des coefficients des images observées. Le mouvement est ensuite restitué à partir de ces coefficients estimés. La méthode est validée sur des données synthétiques afin de quantifier les résultats

Continuous tracking of structures from an image sequence

National audienceThe talk describes an innovative method to simultaneously estimate motion and track a structure on an image sequence. To process noisy images, assumptions on dynamics should be involved. Consequently, the method relies on the dynamics equations of the studied physical system. Promissing results have been obtained on twin experiments in order to quantify the accuracy of the method. The approach has also been tested on satellite acquisitions in order to track clouds an meteorological satellite acquisitions. Further research will concern the conception of a multi-object tracking method

Assimilation de données pour estimer le mouvement et suivre un objet

National audienceCet article s'intéresse au problème de l'estimation du mouvement apparent sur une séquence d'images et au suivi d'un objet particulier. Pour ce faire, l'approche considérée est celle de l'assimilation de données, et, dans ce cas, de l'assimilation d'images. Cette approche repose sur les équations de la dynamique du système visualisé par la séquence d'images. Le modèle de dynamique considéré est la conservation lagrangienne de la vitesse et le transport des images et de la carte de distance qui modélise l'objet étudié. La méthode d'assimilation de données choisie, appelée 4D-Var, effectue une optimisation itérative d'une fonction de coût. Cette approche d'assimilation d'images est tout d'abord quantifiée au moyen d'une expérience jumelle, afin de démontrer l'amélioration obtenue sur l'estimation du mouvement. Puis la méthode est appliquée à une séquence d'images satellite météorologiques, avec l'objectif de suivre un nuage tropical. Les visualisations proposées illustrent les différentes composantes de la méthode

Object's tracking by advection of a distance map

International audienceThis paper has two coupled objectives: estimating motion and tracking a given object on an image sequence. It relies on a data assimilation approach, that solves evolution equations of motion, those of image brightness, and those of the distance map modeling the object's boundary. The two last express the optical flow constraint, which assumes that image brightness and distance map are advected by velocity. The method assimilates contour points by an innovative approach combining two criteria. First, the boundary of the object should match contour points at acquisition dates; second, the control of the distance between each pixel and the object's boundary allows to better motion estimation on the whole domain. The method is tested on synthetic data and satellite acquisitions

Strategies for processing images with 4D-Var data assimilation methods

Data Assimilation is a well-known mathematical technic used, in environmental sciences, to improve, thanks to observation data, the forecasts obtained by meteorological, oceanographic or air quality simulation models. It aims to solve the evolution equations, describing the dynamics of the state variables, and an observation equation, linking at each space-time location the state vector and the observations. Data Assimilation allows to get a better knowledge of the actual system's state, named the reference. In this article, we first describe various strategies that can be applied in the framework of variational data assimilation to study various image processing issues. Second, we detail the mathematical setting and the analysis of pros and cons of each strategy for the issue of motion estimation. Last, results are provided on synthetic images and satellite acquisitions.L'assimilation de données est un outil largement utilisé dans les sciences de l'environnement pour améliorer, au moyen de données d'observation, les prédictions obtenues par les modèles de simulation. Elle s'applique en météorologie, en océanographie et en qualité de l'air, par exemple. L'assimilation de données permet de résoudre les équations d'évolution, décrivant la dynamique des variables d'état du modèle, et les équations d'observation, qui lient le vecteur d'état et les observations. Dans cet article, nous décrivons plusieurs stratégies d'assimilation d'images, dans le contexte de la formulation faible de l'assimilation variationnelle. Nous détaillons ensuite les équations mathématiques de ces stratégies et nous analysons leurs avantages et défauts respectifs pour une application à l'estimation du mouvement. Des résultats sont fournis sur des données synthétiques et des images satellite